ONNX Runtime

https://scrapbox.io/files/646dd4e839ccd2001bd8edc7.webp

https://onnxruntime.ai/Optimize and Accelerate Machine Learning Inferencing and Training

ONNX RuntimeとOliveを使用したエンドツーエンドのWindows AI開発者エクスペリエンスを解き放つ

ONNX Runtimeは、クロスプラットフォーム、クロスIHV推論エンジンであり、開発者はプラットフォーム間（例：iOS、Windows、Android、Linux）、クライアントとクラウドデバイス間（CPU/GPU/NPU）、またはクライアントとクラウド間のハイブリッド推論（Azure EP ）を行うことができる。 EPは実行プロバイダで、特定のIHVハードウェア上の特定のハードウェアデバイスをターゲットにしたり（例：Windows on Arm Surface Pro 9 5G用のQualcomm QNN EP）、WindowsデバイスでDML EPを使用してどのIHVまたはデバイスが使用されているかを抽象化することができます。